Cha của Hoắc Khứ Bệnh là Hoắc Trọng Nhụ, huyện lại huyện Bình Dương. Khoảng năm 141 TCN, Hoắc Trọng Nhụ đến kinh đô Trường An và quen biết với Vệ Thiếu Nhi, con gái của vợ lẽ Bình Dương hầu Tào Thọ, đang làm nô tì trong nhà công chúa Bình Dương[2]. Hai người nảy sinh tình cảm với nhau, và Vệ Thiếu Nhi có mang, sau đó sinh Hoắc Khứ Bệnh năm 140 TCN, còn Hoắc Trọng Nhụ sau đó quay về huyện Bình Dương và không còn liên lạc với Vệ Thiếu Nhi nữa, về sau có người con thứ là Hoắc Quang. Một thời gian sau, em gái Vệ Thiếu Nhi là Vệ Tử Phu được Hán Vũ Đế phong làm hoàng hậu[3], do đó gia đình của Hoắc Khứ Bệnh cũng được trọng vọng.